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Beschreibung 

Verfahren und Vorrichtung zur Korrektur defekter Bildpunkte 
eines Bildsensors* 

Die Erfindung betrifft ein Verfahren und eine Vorrichtung, 
bei dero/der defekte Bildpunkte des Bildsensors in einem De- 
fekt-Speicher gespeichert sind und die Ausgangssignale dieser 
defekten Bildpunkte durch sine Interpolation aus den Nachbar- 
bildpunkten ersetzt werden. 

Unter Bildsensoren sollen hier insbesondere CMOS-Bildsensoren 
verstanden werden, die eine gro&e Anzahl von Bildpunkten 
(Pixeln), zum Beispiel 720 x 576 Pixel fUr die TV-Auf losung, 
IS enthalten. Technolgie- und f ertigungsbedingt sind hier nur 
bei einem geringen Prozentsatz aller Chips alle Pixelstruktu- 
ren voll funktionsfahig. Bei den meisten Chips wtirde man in 
dear aufgenoamenen Bild mehrere defekte Pixel sehen, die ent- 
. weder standig wei* oder schwarz sind oder deren Grauwerttiber- 
20 % tragungseigenschaft sich im Vergleich zu den Nachbarpixeln 
unterscheidet. Eine typische raumliche Defektverteilung ist 
unkorreliert und die Defekthauf igkeit Uegt im Promille- 
Bereichu In einem digitalen Video-Datenstrom ist es einfach, 
solche Defekte durch lineare Interpolation der Grauwerte der 
zum Defekt benachbarten Pixel auszublenden. Fttr jedes Pixel 
wird beispielsweise der arithmetische Mittelwert aus dem vor- 
hergehenden und dem nachfolgenden Pixelwert gebildet. In Ab^ 
hangigkeit von der Position des Pixels im Bild mufl beispiels- 
weise ein Defektsignal generiert werden, das anzeigt, ob das 
30 gerade Qbertragene Pixel korrekt oder defekt ist* Dieses Si- 
gnal steuert beispielsweise einen Multiplexer, der entweder 
den korrekten oder den interpolierten Wert zum Ausgang durch- 
schaltet. / 

35 Eine einfache Speicherung des Def ektmusters als Bitrauster ist 
sehr teuer, da zum Beispiel fur die TV-Auflbsung 404 kBit ge- 
speichert werden mtifiten, Trotz der geringen Defekthauf igkeit 
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von ca. 0,1 Prozent ist eine Lauf langenkodierung, hier also 
der Abstand zweier aufeinanderfolgender Defekte, ungeeignet, 
da die Reihenfolge der Defekte von der GrdJSe und Lage eines 
jeweiligen Teilbides abhangen. Eine weitere speichersparende 
5 Methode ist die Speicherung der Defektadressen in Form von 
Zeilen- und SpaltennuKttaer * Far beide zuletzt genannten Ver- 
fahren ist jedoch zum Auslesen von Teilbildern ein Assozia- 
tivspeicher erforderlich, der deutlich komplexer ist als ein 
vergleichbarer gewShnlicher Schreib^/Lesespeicher . 
10 ■ * ' 

Die der Erfindung zugrundeliegende Aufgabe liegt nun darin, 
^ ein Verfahren bzw. eine Vorrichtung anzugeben/ bei deia/der 
\ die Defekte des Bildsensors auf der Basis gewShnlicher RAMs 

mit Rioglichst geringeia Speicherbedarf abgespeichert werden 
15 kann. 

Diese Aufgabe wird. hinsichtllch des Verfahrens durch die 
KTerkmale des Patentanspruchs 1 und hinsichtlich der Vorrich- 
tung durch die Merkmale des Patentanspruchs 4 gelost, Alle 
20 Veiteren Ansprttche betreffen bevorzugte Ausgestaltungen des 
er£indungsgem&6en Verfahrens und der erfindungsgezaaiien Vor- 
richtung ♦ 

Bei der Erfindung werden lediglich zwei geWohnliche RAM und 
25 nur wenige weitere Bauel entente benotigt. Die Anzahl der Spei 
#j cherzellen im ersten SchreiWLesespeicher entspricht dabei 
F der Zeilen2ahl des Bildes und der zweite Schreib-/Lese- 

speicher ben5tigt beispielsweise nur ca. 1000 Speicherpiatze. 

30 Nachfolgend wird die Erfindung anhand eines in den Zeichnun- 
gen dargestellten Ausfuhrungsbeispiels naher erlautert, Dabei 
zeigt 

Figur 1 ein allgemeines Blockschaltbild einer Vorrichtung zur 
35 Korrektur defekter Bildpunkte mit einer Defektspei- 

chereinrichtung, 
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Figur 2 eine Darst el lung zur Verdeutlichung der Spei- 

cheradressierung in der Defektspeichereinrichtung von 
Figur I, , . . 

Figur 3 ein Blockschaltbild zur Eriauterung des erf indungsge- 
maSen Verfahrens und 




15 



20 



30 



35 



Figur 4 ein Beispiel einer erf indungsgemaSen Vorrichtung. 

In Figur 1 ist ein allgemeines Blockschaltbild zur Erlaute- 
rung der Korrektur defekt er Bildpunkte eines Bildsensors dar- 
gestellt, wobei eine Interpolationseinrichtung INTR, ein Uiu- 
schalter MUX und ein Defektspeichereinrichtung DS vorhanden- 
sind. Die Defektspeichereinrichtung DS wird mit einer Bi Id- 
seilenadresse Line und einer Bildspaltenadresse Column ver- 
sorgt und liefert davon abhangig ein Defektsignal Defect, das 
den Umschalter MUX ansteuert. Falls kein Defekt vorliegt, 
wenn also das Signal Defect gleich Null ist, werden Eingangs- 
bilddaten Input direkt als Ausgahgsbilddaten Output durchge- 
schaltet. iici anderen Fall, wenn ein Defekt an der durch Line 
und Column adressierten Stelle des Bildsensors vorliegt, wenn 
also durch das Signal Defect gleich Eins ist, werden die Ein- 
gangsbilddaten Input von Nachbarbildpunkten hier beispiels- 
weise linear interpoliert und durch den Umschalter an den 
Ausgang fttr die Ausgangsbildpunktdaten durchgeschaltet. 

Die Defektspeichereinrichtung DS von Figur 1 enthalt zwei 
Schreib-ZLesespeicher RAMI und RAM2, die in Figur 2 darge- 
stellt sind, Der erste Schreib-VLesespeicher RAMI dient dabei 
als 2eigerspeicher und wird von der Bildzeilenadresse Line 
direkt adressiert. Die Speicherzellen des Zeigerspeichers 
enthalten 2eiger Ptr, die Zellen im zweiten Schreib- 
/Lesespeicher RAM2, der als Defektspalten-Speicher dient, 
adressieren. Bei der Adressierung des Defektspalten-Speichers 
treten unterschiedliche Adressierungssituationen auf, wobei 
drei Faile besonders hervorsuheben sind. Im ersten Fall zei'gt 
einer der Zeiger Ptr auf eine Zelle mit der Startadresse SA 
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in der hier beispielsweise eine Defekt-Spaltennummer 56 ge- 
speichert ist.. Zusatzlich zu jeder Defektspaltennuramer ist im 
Defektspalten-Speicher auch jeweils ein einzelnes Fortset- 
zungsbit incEn gespeichert, das anzeigt, daB es in der Bild- 
5 zeile Line noch weitere defekte Spalten gibt. Die weiteren 
defekten Spalten folgen umuittelbar auf die 2elle mit der 
Startadresse SA und eine letzte Defektspalte der Bildzeile 
Line.wird dadurch erkannt, daB das zugehfcrige Fortsetzungsbit 
bei Null und bei den ttbrigen, Defektspalten dieser Zeile 
10 gleich Eins ist- Die durch die Startadresse SA adressierte 
Zelle enthait hier die Def ektspaltennummer 56, darauf folgt 
hier eine 'Zelle die eine Def ektspaltennummer 285 und nach de 
eine durch eine letzte Adresse LA adressierte Zelle, die ei; 
Defekts'paltennummer 539 aufweist, was insgesamt andeuten 
15 soil, daB die Defektspaltennummern einer Bild2eile in auf- 
steigender Reihenfolge abgelegt sind, Der zweite hier ange- 
deutete Fall ist der, daB mehrere defekte Bildpunkte in einer 
Spalte vorliegen. Hierbei 2eigen mehrere Zeiger Ptr auf ein 
und dieselbe Zelle M im Defektspalten-Speicher, die hier bei- 
20 spielsweise die Defektspaitennuramer 147 beinhaltet und deren 
Fortsetzungsbit natttrlich Null ist. Im Fall, daB mehrere 2ei- 
len einen Defekt in der gleichen Spalte aufweisen, kpnnen 
mehrere Zeiger auf dense lben Eintrag im Defektspalten- 
Speicher seigen, wodurch die maximal speicherbare Anzahl der 
25 Defekte die Zahl der Worte im Defektspalten-Speicher sogar 
jfc ubertreffen wird- Im letzten Fall, zeigen alle zu Bildzeilen 

™ ohne Defekte gehorigen Zeiger Ptr geiueinsam beispielsweise 
auf eine letzte Zelle END des Defektspalten-Speichers. 



30 



35 




In Figur 3 ist die Defektspeichereinrichtung DS zur Erlaute- 
rung des erfindungsgemaBen Verfahrens in Form ein Blockdia- 
gramms detaillierter dargestellt. Die Bildzeilenadresse Line 
adressiert wiederum den Speicher RAMI, dessen ausgelesene Da- 
ten an eine AdreBweiterschaltungseinheit AWS Ubergeben werden 
innerhalb der dann die Zeiger Ptr in Form von Adressen fUr 
den Defektspalten-Speicher RAM2 gebildet werden, Ein VerzOge- 
rungsglied T dient lediglich zur zeitlichen Entkopplung des 
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Eingangs und des Ausgangs der Adreflweiterschalteinheit AWS. 
In der Einheit AWS wird praktisch die nachste Zeile im De- 
fektspalten-Speicher berechnet, wobei die ira Zusammenhang mit 
Figur 2 naher erlauterten drei Faile unterschieden werden und, 
eine direkte Adrefltibergabe, eine Inkrementierung der Adressen 
Oder eine Beibehaltung der bisherigen Adresse erfolgt. Fur 
den Fall, daft vom Bildsensor ein Vollbild abgetastet wird, 
wird die. Bildspalte Column mit der dem Speicher RAM2 ausgele- 
senen Def ektspaltennummer in einer Vergleichsinrichtung E auf 
Gleichheit. geprttft und liefert bei Gleichheit das Defektsi- 
gnal Defect. Aus dem zugehSrigen Fortsetzungsbit incEn wird 
durch UND-VerknUpfung mit dem Defektsignal ein Forsetzungs- 
signal inc gebildet, das die AdreBweiterschaltungseinheit zum 
Inkrementieren der Zeilenadresse des Defektspalten-Speichers 
15 veranlaflt. 

Fttr den Fall, da£ nur ein Teilbild des Bildsensors ausgelesen 
wird, kennen ein Oder mehrere Defekte links von dem gewUnsch- 
ten Bildfenster liegen. Die entsprechenden Eintrage mttssen 
dann Uberlesen werden. Beginnt beispielsweise das Teilbild 
erst mit der Spaltennummer 100, so mttBte im Beispiel von Fi-~- 
gur 2 der Defektspalteneintrag 56, im Speicher RAM2 bei 
Adresse SA Uberlesen werden, daB die AdreBzuordnung zwischen 
dem Bildsensor und dem Defektspeicher wieder richtig erfolgt. 
Hierzu wird die Bildspaltennummer Column in einem Vergleicher 
L mit der Def ektspaltennummer aus dem Speicher RAM2 vergli- 
chen und, wenn die Defektspaltennummer kleiner ist als die 
Spaltennummer, in der AdreBweiterschaltungseinheit AWS durch 
das Signal inc solange eine Inkrementierung ausgeldst bis die 
30 Defektspaltennummern innerhalb des Teilbildes des Bildsensors 
liegen. Hierbei wird das Ausgangssignal des Vergleichers L 
mit dem Defektsignal Defect in einer ODER-Schaltung O ver- 
knupft und das Ausgangssignal der ODER-Schaltung wiederum mit 
dem Fortsetzungsbit incEn mit Hilfe eines UND-Gatters A zum 
Signal inc verkniipft, da in der Zeile und also auch im Teil- 
bild weitere Fehler (incEn=l) liegen mtissen* 
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In Figur 4 ist ein Beispiel einer konkreten Realisierung der 
erf indungsgem&fien Vorrichtung dargestellt. Der Zeigerspeicher 
RAMI weist dabei 1024 9-Bit-werter und der Defektspalten- 
Speicher RAM2 512 11 Bit-Worte auf . Der Speicher RAMI wird 
durch eine 10 Bit breite Bildzeilennummer adressiert und lie- 
fert einen 9 Bit breiten Zeiger Ptr, der iiber einen Multiple- 
xer MUX1 und ein Register Dl dem Defektspalten-Speicher RAM2 
als Adresse zugeftlhrt wird* Am Ausgang des Defektspalten- 
Speichers wird ein 11 Bit breites Ausgangssignal einero weite- 
ren Register D2 zugeftlhrt, wobei sich die 11 Bit aus einer 10 
Bit breiten Defektspaltennummer und den Fortsetzungsbit incEn 



zusammensetzt. Die Defektspaltennummer wird in einer Aquiva-^^^ 
^ lenzschaltung E mit der Bildspaltennummer verglichen und li^^^B 

fert das Defektsignal Defect. Das Defektsignal wird ttber ein^^^ 
15 1-Bit-Register, das durch ein internes Zeilenweiterschaltsi- 
gnal nextliine rticksetzbar ist, und einen Inverter I einem 
Eingang einer UND-Schaltung A zugeftthrt, die einen weiteren 
Eingang aufweist, der mit dem Fortsetzungsbit incEn versorgt 
wird- Dartiber hinaus wird in einer Vergleicherschaltung L die 
20 Spaltennummer bzw, Bild-Spaltenadresse mit der Defektspalten- 
nummer verglichen und festgestellt/ ob die Defektspaltennum- 
icier DefCol kleiner ist als die Spaltennummer Column* Das Aus- 
gangssignal der Vergleicherschaltung L ist mit einem weiteren 
Eingang der UND-Schaltung A verbunden, die ihrerseits das 
25 Fortsetzungssignal inc bildet. Dieses Fortsetzungssignal wirc^^^ 
mit einem internen Signal ODER-verknUpft und dem Enable- 



i 



Eingang des ersten Registers Dl zugefUhrt, Der Multiplexer 
MUX1 weist einen 9 Bit breiten Null-Eingang auf, der das 
durch die Inkrementierschaltung inc Inkrementierzeigersignal 
30 Ftr erhftlt. Die Umschaltung des Multiplexers MUX1 erfolgt 

durch das interne Zeilensignal nextLine, Diese Schaltung kann 
als Defekt-Korrektureinheit einer digitalen Einchip-Kamera 
verwendet ,werden. Urn die gef order te Verarbeitungsgeschwindig- 
keit zu erreichen wird hier zwischen dem Defekt Spaltenspei- 
35 cher RAM2 und den Vergleichern das Register D2 geschaltet. 
Infolgedessen stehen nach einer Erkennung eines defekten Pi- 
xels und der Inkrementierung des Zeigers Ptr die zum Zeiger 
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gehSrige Def ektspaltennummer und das zum Zeiger geharige 
Fortsetzungsbit erst einen Takt spater zur Verftigung. Damit 
der Zeiger nicht ein zweites Mai inkrementiert wird, weil die 
Bedingungen' Spaltennummer Column > Defektspaltennummer und 
5 Fort$etzungsbit incEn =1 gleichzeitig erfiillt werden, wird 
das Inkrementieren des Zeigers Ptr vom durch das Register D3 
verzfcgerten Defektsignal abhangig gemacht, und soiait, wenn im 
letzten Taktzyklus ein Defekt erkannt und der 2eiger inkre- 
mentiert wurde, im aktuellen Taktzyklus die Inkreiaentierung 
10 verhindert. 
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Patentanspruche 

1. Verfahren zur Korrektur defekter Bildpunkte eines Bildsen- 
sors, 

5 bei dem abhMngig von einem Defektsignal (Defect) im fehler- 
freien Fall Eingangsbildpunktdaten (Input) als Ausgangsbild^ 
punktdaten (Output) ausgegeben warden und im Fehlerfall aus 
Nachbarbildpunktdaten interpolierte Bildpunktdaten als Aus- 
gangsbildpunktdaten ausgegeben werden, 
10 bei dem das Fehlersignal aus einer Bildzeilenadresse (Line) 
und einer Bildspaltenadresse (Column) derart gebildet wird, 
h dafi mit Hilfe der Bildzeilenadresse ein 2eigerspeicher (R^Mli 

™ adressiert wird, dessen gespeicherte Zeiger (Ptr) einen De- 
fektspalten-Speicher (RAM2) so adressieren, daS bei mehreren 
15 defekten Spalten in einer 2eile die erste Spalte adressiert 
und anschlieBend fortlaufend alle weiteren defekten Spalten 
der Zeile adressiert werden, 

bei dem bei mehreren defekten Bildpunkten einer Spalte von 
mehreren Zeigern die Zelle mit dieser Defektspaltennummer im 
20 Defektspalter-Speicher adressiert wird, 

bei dem bei nicht defekten Bildpunkten eine eigens dafiir vor- 
handene Zelle (END) im Defektspalten-Speicher adressiert wird 
und 

bei dem die Defektspalte mit der Spaltenadresse (Column) ver- 
25 glichen und daraus das Defektsignal (Defect) gebildet wird. 

\ 

2. Verfahren nach Anspruch 1, 

bei dem, beim Auslesen eines Teilbildes, Defektspaltennum- 
mern, die kleiner als die Spaltennummern des Teilbildes sind 
30 uberlesen und nicht korrigiert werden., 

3. Verfahren nach Anspruch 1, 

bei dem die jeweils let2te Defektspalte einer jeweiligen Zei- 
le anhand eines pro Defektspaltennummer vorhandenen Fortset- 
35 zungsbits (incEn) erkannt wird* 
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4. Vorrichtung zur Korrektur defekter Bildpunkte eines Bild- 
sensors/ 

bei der eine durch eine Bildzeilennuraraer (Line) und elne' 
Bildspaltennummer (Column) adressierbare Defektspeicherein- 
heit (DS), ein Interpolator (INTER) und ein Umschalter (MUX) 
derart vorgesehen sind, dafi in Abhangigkeit eines Defektsi- 
gnals (Defect) entweder der Eingang fUr Eingangsbildpunktda- 
ten Oder ein Ausgang des Interpolators mit einem Ausgang fUr 
Ausgangsbildpunktdaten (Output) verbunden wird, wobei der In- 
terpolator von Eingangsbildpunktdaten versorgt wird, 
bei der die Defektspeichereinrichtung einen Zeigerspeicher 
(RAMI) und einen Defektspaltenspeicher (RAM2) derart auf^ 
weist, dafi der Zeigerspeicher durch die Bildzeilennummer 
(Line) adressiert wird und der Inhalt (Ptr) der so adressier- 
ten Zellen Uber eine Adrefiweiterschalteinrichtung (AWS) den 
Defektspalten-Speicher (RAM2) adressiert, an dessen Ausgang 
Defektspaltennummern (DefCol (Ptr)) der Zeile mit der betref- 
fenden Bildzeilennummer anliegen, und bei der ein Vergleicher 
vorhanden ist, der die Bildspaltennummer mit der Defektspal- 
tennummer aus dem Defektspaltenspeicher vergleicht und- daraus 
das Defektsignal bildet* 



5, Vorrichtung nach Anspruch 4, 

bei der der Defektspalten-Speicher (RAM2) derart ausgebildet 
ist, daS pro Def ektspaltennummer ein Fortsetzungsbit vorhan- 
den ist und 

bei der die AdreBweiterschalteinheit durch das Fortsetzungs- 
bit steuerbar ist. 



30 



35 



6. Vorrichtung nach Anspruch 4, 

bei der ein Vergleicher (L) vorgesehen ist, der feststellt, 
ob die Defektspaltennummer kleiner als die Spaltennummer ist 
und bei der die Adrefiweiterschalteinrichtung in diesem Fall 
die Adresse des Def ektspalten-Speichers weiterschaltet, wenn 
das Fortsetzungsbit (incEn) gesetzt ist. 
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2 us ammen f as s ung 

Verfahren und Vorrichtung zur Korrektur defekter Bildpunkte 
eines Bildsensors. 

Der Aroueldungsgegenstand er&oglicht xuit Hilfe eines Umschal- 
ters ira Falle eines defekten Bildsensorbildpunktes eine Er- 
set2ung des Ausgangssignals dieses Bildpunktes durch die In- 
terpolation aus den Signalen der ttachbarbildpunkte/ wobei die 
fehlerhaften Sensorbiidpunkte auf sehr 'eff iziente Weise in 
RAM-Speichern gespeichert sind. Die Speicherung der defekten 



^jl Bildpunkte erfolgt mit Hilfe eines durch die Bildpunktzeile 

adressierten 2eigerspeicher, dessen Zeiger wiederum einen D^^B 
fektspalten-Speicher adressieren. Die Defektspalten aus die-^^ 
15 sem Defektspalten-Speicher werden mit der Bildspaltennummer 
zu einem Defektsignal verglichen, zur Steuerung des Uiaschal- 
ters dient ♦ 
Figur 1 
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